Kernel weighted importance sampling for off-policy evaluation in contextual bandits
核加权重要性采样用于上下文赌博机的离线策略评估
🧭 离线策略评估 · 重要性采样 ★ 深度解读
University College London · Strive Health Ltd. · National Institute for Health Research · Great Ormond Street Hospital · McGill University
将核平滑引入加权重要性采样，在行为策略误设时显著提升离线评估的准确性与稳健性
📌 工作参考价值（4 点）
- 当 logging policy 模型因策略更新而失准时，Kernel-WIS 提供更稳健的离线评估，适合推荐/广告系统的频繁策略迭代
- 核平滑思想可直接嵌入现有重要性采样评估流程：利用用户/物品的特征向量计算局部密度，对重要性权重做归一化，无需额外模型
- 带宽选择通过交叉验证自动完成，可部署为离线评估流程中的一个超参数调优模块，降低人工成本
- 连续奖励场景（如点击率预估）需谨慎使用，实验显示 Kernel-WIS 可能劣于 WIS，可考虑使用混合策略或对奖励离散化